Vào năm 1917, trường nam sư phạm (École Normale d'instituteur) được thành lập, chuyên đào tạo giáo viên tiểu học thời Pháp thuộc.[6] Đến năm 1923, trường đã đổi tên thành Cao đẳng tiểu học Đông Dương (École Primaire Superieur Indochinoise - E.P.S.I) mang tên Đỗ Hữu Vị - phi công đầu tiên ở Đông Dương lúc bấy giờ.[7]

Trong thời kỳ quân Pháp tạm chiếm Hà Nội, trường Bưởi (Trung học phổ thông Chu Văn An) đã trở thành trại lính, vì vậy các học sinh trường phải chuyển về đây học cho đến sau khi quân Việt Minh về tiếp quản Thủ đô vào tháng 10 năm 1954[8], sau đó trường được tu bổ lại thành trường liên cấp Nguyễn Trãi rồi trường Sư phạm Trung sơ cấp do nhà giáo Nghiêm Chưởng Châu làm hiệu trưởng.[2]

Những năm máy bay Mỹ thực hiện chiến dịch Linebacker II, học sinh Hà Nội buộc phải tản đi khắp nơi sơ tán. Khi hiệp định Paris được kí kết, tất cả lần lượt trở về, tuy nhiên nhiều học sinh cấp ba lúc đó đã không còn chỗ để học do cơ sở vật chất bị phá hoại nặng nề. Trước tình hình trên, vào ngày 10 tháng 3 năm 1973, Trường phổ thông cấp ba Phan Đình Phùng chính thức được thành lập theo quyết định của UBND thành phố Hà Nội.[7] Hiệu trưởng những năm đầu tiên thành lập trường là nhà giáo Hoàng Đình Bình và phó hiệu trưởng là nhà giáo Trần Thị Phượng.[9]

Tháng 9 năm 1977, UBND thành phố Hà Nội đã quyết định thành lập thêm Trường phổ thông cấp ba Hoàng Diệu, dùng chung địa điểm với Trường phổ thông cấp ba Phan Đình Phùng với thời gian hoạt động luân phiên nhau. Đến năm 1996, do có chủ trương sáp nhập các trường cùng địa điểm nên hai trường đã được hợp nhất lại thành trường Trung học phổ thông Phan Đình Phùng.[2]